Công cụ TensorRT của NVIDIA tăng hiệu suất cho các tác vụ AI như Stable Diffusion và Llama 2
NVIDIA đã và đang nỗ lực cải tiến bộ công cụ AI/ML (trí tuệ nhân tạo/học máy) và LLM (mô hình ngôn ngữ lớn) của mình. Bổ sung mới nhất là TensorRT và TensorRT-LLM, được thiết kế để tối ưu hóa hiệu suất của GPU tiêu dùng và nhiều card đồ họa tốt nhất để chạy các tác vụ như Stable Diffusion và tạo văn bản Llama 2. Chúng tôi đã thử nghiệm một số GPU mới nhất của NVIDIA bằng TensorRT và nhận thấy hiệu suất trong Stable Diffusion được cải thiện tới 70%. TensorRT hiện có sẵn để tải xuống tại trang GitHub của NVIDIA, mặc dù chúng tôi đã có quyền truy cập sớm cho mục đích của cái nhìn ban đầu này.